#! /bin/bash
model=vit_base_patch16_224_in21k_mol
model_ckp=./released_models/ViT-B_16.npz
model_type=vit_mol
tuning_mode=mol
rank=8
alpha=8
num_experts=64246
top_k=2

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0012 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.0022 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset kitti --task vtab --lr 0.005 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 0 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k